UNREAL: Unifying Retrieval and Long-Context with a Single Model
UNREAL：用单一模型统一检索与长上下文证据选择
🧭 模型内证据选择统一检索与长上下文 ★ 深度解读
NVIDIA · Technion
冻结LLM内部表征统一语料检索与长上下文去噪，仅训练<500K参数即超SOTA检索器
📌 工作参考价值（4 点）
- 搜索/推荐 RAG 场景可尝试冻结主模型只训练 retrieval tokens 和 layer-mixing 权重，把 embedding/retriever 与生成模型统一，省去独立 embedding 大模型和 reranker，降低跨模型不一致与维护成本。
- 用 LLM 内部中间层 residual stream 做多向量 late-interaction 检索，配合 mean-pool 压缩，可平衡检索效果与索引大小；类似做法可用于商品描述、用户评论、广告素材的 candidate retrieval。
- 长上下文用户行为建模中，可以把长期行为序列或搜索日志分块后用内部 evidence selector 去噪，只喂 top-n chunks 给生成器，避免无关历史干扰并降低 prefill/KV cache 成本；从 32K tokens 起 FLOPs 和 TTFT 优于 full-context。
- 训练用多正例 InfoNCE + hard negatives 而非简单 in-batch negatives；query 侧加入 BM25 初始上下文和 soft prompt tokens，保留检索模式，适合冷启动或小样本微调。局限是当前主要基于 Wikipedia QA，跨域迁移需验证，多向量存储成本较高。